腾讯会议背后最有“背景”的人
养蜂十年无人过问，“背景”享誉全球。
最近新疆一位97年“大叔”，因为直播过程中背景“太假”，火遍全网。面对网友的质疑，“大叔”为了证明自己的背景没有造假，气势汹汹地把水桶扔进了身后的河里。
“悲惨”的画面，搞笑的氛围，引发网友创作热潮。
整个画风是这样的：
虽然这位大叔的背景真实可靠，但是在腾讯会议的虚拟背景或许真的可以“以假乱真”。
虚拟背景，考验的不仅是画面和人物的分割，人物和背景的融合，对于细节层面的打磨，也至关重要。
实现这一效果，是腾讯会议与优图实验室团队共同努力的结果，后续更推出了包括美颜、眼神接触、同框模式等更具临场感的新功能，这些使用场景已经成为当下视频会议的高频需求。
开源共建，突破人像分割难题
2020年3月，腾讯会议刚经历了一场大考，集合了腾讯公司内多个团队力量扛住了千万用户的线上会议需求。
身在上海的优图实验室高级研究员邰颖和几位小伙伴，这个时候却接到一项任务，需要奔赴深圳和腾讯会议的AI技术团队“联合作战”。
当时，省际交通还未全面恢复，好在上海到深圳的空中走廊尚且畅通，他们决定趁这个时间窗口去深圳总部一趟。
原来，此行的目的是和腾讯会议技术团队一起攻克高性能“虚拟背景”技术难题。
虽然腾讯会议让线上交互变得简单便捷，但对于大部分用户来说，要抛开心理包袱，真正做到打开视频，面对面交互，还存在一些心理障碍。
在腾讯会议开发人力还很少的时候，就开始着手虚拟背景研发，第一版虚拟背景也伴随着腾讯会议的发布一起上线。
“为了虚拟背景的第一个版本按时上线，时间、人力等资源非常紧促，急需投入资源加速这块优化进展”， 腾讯会议视觉AI技术研发负责人李峰回忆。
在腾讯内部的一次高层汇报中，腾讯高级执行副总裁、云与智慧产业事业群CEO汤道生提了一个建议，腾讯会议可以和优图实验室一起合作来加快这里的研发进程。
双方团队初步交流后一拍即合。
“开源共建，这是当时毫不犹豫做的一个决定”，李峰说。双方团队就把各自的数据和代码全部开源出来，基于同一套代码和数据，一方面集合两边的资源和优势，二是研发效率可以得到极大提升。代码开源，也让彼此快速熟悉了对方的思路。
“虚拟背景技术并没有想象中那样容易解决”。
首先遇到的是人像分割效果问题，双方团队掰着指头细数，同事的寸头过于精神，丝丝耸立的头发难以分割，又不能直接抹平；工作椅的黑色头枕、黑色耳麦与头发混在一起，难以区分；椅子和衣服的颜色太过接近，人在移动时画面有明显的跳动……
如何在实验室内模拟出不同人，不同场景开会，时刻考验着数据团队。为此，优图打造了专业的场景实验室，提供强大的多场景构建能力和数据采集能力。
为了解决椅子和人像重合的场景问题，团队甚至采购了上千款不同的椅子，并发动内部同事坐椅子上摆拍，最终形成了近6 万张带有头枕椅子的样本，提供给AI学习。
此外，实验室内几十台灯光设备以及上百种衣帽、服饰，眼镜等附属配饰，可以基本模拟任意场景下的人员活动；自动化采集系统还配置了上百部手机和PC，可以捕获目标人员任意角度活动姿态。
然而，现实又给两个团队增加了一个限制条件。
“会议场景对业务性能要求非常高，有非常严格的专项测试标准。虚拟背景作为会议非默认开启的能力，CPU和GPU的使用率不得超过5%。开虚拟背景的话，耗时要保证在30ms以内，温度增量不能超过0.5摄氏度”，李峰介绍说。
这意味着虚拟背景技术优化的过程中，既不能影响会议质量，也不能造成设备过热，更不能影响设备上其它应用的运行，“这对于计算密集型任务来说，技术优化的挑战非常大。”邰颖对此深有感触。
就拿解决头发丝的边缘分割问题来说，用常规的方式也能解决，比如围绕时序稳定、模型结构的优化等来寻找解决方案，把模型做得足够大，头发丝的分割效果也会更好。
但是在腾讯会议，这是不被允许的。“这样的优化方案在会议场景没法落地，因为你一旦这么做，它就超过性能要求了”。
寻常的方式走不通，团队只能另辟蹊径，寻找深度学习以外的方案。
后来讨论和尝试了一段时间发现，有一种传统的方案速度更快，效果也能满足需求。
这种方案的策略是在有了模型分割的结果之后，在结果的基础上做一个后处理操作，这样做的好处既不影响前端的分割结果，也让发梢的边缘处理效果得到巨大提升。
这次探索也成就了一项行业首创。彼时，在人像分割领域还没有一个比较合理的衡量标准，业界一般用mIOU（平均交并比）来衡量人像分割效果，但这一指标并不能体现边缘分割的水平。为了全面衡量边缘的重合度，联合团队首度推出了边缘mIOU的指标。
经过腾讯会议和优图团队高效合作共建模式和不遗余力地持续投入，腾讯会议的虚拟背景效果得到了快速迭代。不仅成为3亿用户高频使用的通用功能，日渐成为企业线上签约和商务活动的标配，背后的人像分割技术，随着虚拟背景功能中不断优化，也逐渐开枝散叶，衍生出了画中画、同框模式等功能的技术底座，给用户带来更加沉浸的开会体验。
自研AI运营系统，让美颜智能适配
如果说虚拟背景考验的是人像分割的技术，而美颜效果则是一千个人有一千个哈姆雷特，对AI的学习与适配能力有了更强的要求。尤其是在线上面对面的交互场景，美颜已经成为一种刚需。腾讯会议上线之初就洞察到用户需求，成为首个推出美颜功能的云视频会议产品。
在美颜技术上，优图实验室有着长期而深厚的积累，但在最初，这一技术并不能直接“移植”到腾讯会议上使用。
首先是桌面端适配的问题，优图有着成熟的美颜SDK，但当时只适用于移动端。针对腾讯会议兼顾桌面端的应用，双方联合团队一起进行了开源共建，将实时美颜的功能搬到了电脑上。
“在会议场景，性能开销是绕不过去的问题，如何在性能和效果之间取得一个更好的平衡，是我们一直在努力的方向”，李峰说。
“美颜主要的应用场景是移动端直播，在直播类应用中核心是保证主播的美颜效果，它的性能可以放得很开，CPU利用率可以到10%，但是在腾讯会议，美颜是默认开启的功能，CPU的标准就是2%”，李峰补充道。
为了解决这个问题，双方联合团队一方面要优化算法，压缩人脸检测模型，将计算量压缩下来；另一方面，在工程上要对硬件做充分的适配计算优化，让实时美颜功能适配更多的机型。
“如果用户的机器性能带不动某些高级美颜的特效，我们会采用降级体验的方式，比如减少特效算法的复杂度，甚至屏蔽部分特效。同时会采用精细化运营策略，让用户在当前这个机器和平台上享受到最佳体验。”李峰解释说。
为了实现这一用户体验，团队自研了一套领先的AI运营系统，可以根据用户设备所使用的操作平台、系统版本、驱动乃至芯片，来灵活实现美颜效果的切换。
当用户的机型配置较高时，这套系统开放给用户的AI算法和模型功能会更强大。反之，当用户的机型配置不高时，系统则将减少会议AI的功能开放类别，优先保证用户其它应用的需求，从而大幅提升了腾讯会议体验的流畅性。
针对某些机型出现的问题，腾讯会议甚至找到了手机厂商，反向推动厂商对终端系统进行修复和优化。
如今，腾讯会议的美颜功能已迭代了几十个版本。能让尽可能多的用户不受限于设备能力，体面地相见，是优图和会议团队颇为自豪的事情。
“为了大家的美颜，我们真的连一条皱纹也没放过”，李峰笑称。
跨越又一山峰，攻克眼神接触难题
在现实场景下，两个人面对面沟通，眼神的交流至关重要。喜怒哀乐、悲欢离合，人们对周围一切事物的复杂情感，都会自然而然通过眼神传递出来。
乱糟糟的办公环境，熬夜产生的黑眼圈，不免会让人担心你近期的生活状态；不经意的眼神飘忽，可能让人质疑你是否在专心开会。如果人们在线下相见，一切还好解释，可如果在线上见面，要怎么让彼此理解？
腾讯会议团队敏锐地注意到了这个问题——沟通时必不可少的眼神交流。
一般情况下，人们在视频会议时，眼睛看的是电脑或手机的画面，和摄像头之间有一定的夹角，你以为在看着对方，但对方看到的并不是同一个角度，反之也是如此。
如何借助AI技术把用户的眼神交流真实的呈现，打造更具临场感的会议体验，成为腾讯会议和优图团队另一个要翻越的高峰。
“如果我们做一个眼神接触功能，通过视觉AI技术自动修正视线焦点，让视频会议交流的时候注视着摄像头的话，就可以增加眼神的交流”，李峰说。
这是一个主观性最强的挑战。
原因在于眼睛本身的敏感度极高。“哪怕有一点点的偏差，比如眼距有一点点差异，你就会觉得对方好像是斗鸡眼”。
这就要求通过技术精准定位出用户的眼睛在哪里，才能做眼神的纠正，如果不能精准定位出用户的眼睛位置，眼神的纠正就是天方夜谭。
眼神接触背后的关键技术之一是“脸部关键点配准”。这需要有一个既好又快的关键点配准的方法，准确而快速地定位出用户的眼睛，才能对眼神的朝向位置做一定的纠正，这其中还要克服斜视、戴眼镜、反光、暗光、侧脸等场景的影响。
但难点远不止于此，人的眼神时刻在变化，很难通过标注获得目标数据来训练AI，为了解决这个问题，在数据的采集和处理这块，联合团队花了很多时间把标准定清楚，才能让后面眼神修正生成的学习少走弯路。
眼神是纠正了，如何判断结果的好坏？
行业对此有一些通用指标，比如可以判断生成的眼神是否自然，但光靠这个指标，很难反映眼神接触纠正的精度。为此，腾讯会议首创了另一个指标：对眼指标。这个指标可以反映纠正结果的斗鸡眼程度，也可以反馈与肉眼的主观观感是否一致。
如果翻看互联网历史你会发现，很少有哪款应用可以像腾讯会议这样，一年的功能迭代超过两万次。用户看到的四个按钮界面背后，有降噪、优化网络连接等大量保障会议质量的功能迭代。
虚拟背景、美颜、眼神接触……一系列用户体验背后的核心技术，能够在过去近三年时间领跑于视频会议行业，这背后是腾讯20多年打造爆款产品力的体现，也离不开腾讯会议和优图实验室对于AI技术的打磨和实践。
“我们既要关注前沿技术，也要解决实际问题。”联合团队在最后总结说。“前沿的竞赛冠军、榜单第一、顶会论文发表论证了我们自研技术的创新价值，但是把这些前沿技术服务于实际应用场景，这是更有意义的事情”。
目前，腾讯会议和优图实验室联合团队还在继续AI技术应用的前沿探索。除了虚拟背景、美颜和眼神接触功能，在可预见的将来，腾讯会议还会上线更丰富的功能模块，比如视频超分辨率、虚拟形象等。
随着这些功能的上线，腾讯会议的用户体验将会再上一个台阶。这些实际场景下沉淀的AI技术，也将在腾讯云上开放，供各行各业的企业、个人随时获取。
点击观看最有“背景”的故事👇